无需API Key，不限制使用次数，完全本地化的开源免费AI语音工作室，高达27k stars！

来源：htmlDecode("GitHubStore")

原文链接：https://mp.weixin.qq.com/s/OZ7XQxwHixX_74LNV5Jc9w

**
**

项目简介

** Voicebox **  是一个 ** 本地优先的 AI 语音工作室 **  —— 它是  ** ElevenLabs **  和  ** WisprFlow **  的免费开源一体式替代方案。你可以用几秒钟的音频克隆声音，支持 7 个 TTS 引擎和 23 种语言生成语音，通过全局热键在任意文本框中听写，还能让任何支持 MCP 的 AI Agent 使用你克隆的声音说话。
两大云服务巨头分别占据了语音 I/O 循环的两端（ElevenLabs 负责输出，WisprFlow 负责输入）。Voicebox 两者兼顾，并通过捆绑的本地 LLM 实现文本精炼和个性化角色，让整个流程完全在你的机器上运行。

核心亮点

** 完全隐私 **  —— 模型、语音数据和录音永不离开你的设备 ** 7 个 TTS 引擎 **  —— Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox Multilingual、Chatterbox Turbo、HumeAI TADA、Kokoro ** 语音克隆与预设声音 **  —— 零样本克隆（只需参考音频），或通过 Kokoro 和 Qwen CustomVoice 使用 50+ 精选预设声音 ** 23 种语言 **  —— 涵盖英语、阿拉伯语、日语、印地语、斯瓦希里语等 ** 后期处理效果 **  —— 音高偏移、混响、延迟、合唱、压缩、滤波器等 ** 富有表现力的语音 **  —— Chatterbox Turbo 支持  [laugh] 、 [sigh]  等副语言标签；Qwen CustomVoice 支持自然语言指令控制表达 ** 无限长度生成 **  —— 自动分块 + 交叉淡化，适合脚本、文章和章节 ** 故事编辑器 **  —— 多轨时间线，支持对话、播客和叙事创作 ** 语音输入 **  —— 全局听写热键（按住说话 / 切换模式），macOS 自动粘贴，Whisper STT ** Agent 语音输出 **  —— 一个工具调用（ voicebox.speak ）即可让 MCP Agent 用你克隆的声音和你对话 ** 语音人格 **  —— 为每个声音配置文件附加自由形式的人格，通过本地 LLM 实现“以角色身份写作/回应” ** API 优先 **  —— REST API + 内置 MCP 服务器，方便集成到自己的应用和 Agent 中 ** 原生性能 **  —— 基于 Tauri（Rust）构建，非 Electron ** 跨平台运行 **  —— macOS（MLX/Metal）、Windows（CUDA）、Linux、AMD ROCm、Intel Arc、Docker

主要特性

多引擎语音克隆

七个 TTS 引擎，各有特色，可在每次生成时切换： 引擎 语言 优势特点 ** Qwen3-TTS **  (0.6B / 1.7B) 10 高质量多语言克隆，支持“慢慢说”、“耳语”等表达指令 ** Qwen CustomVoice ** 10 9 个精选预设声音，支持自然语言表达控制，无需参考音频 ** LuxTTS ** 英语 轻量（~1GB VRAM），48kHz 输出，CPU 上 150 倍实时 ** Chatterbox Multilingual ** 23 最广语言覆盖（阿拉伯语、丹麦语、芬兰语、希腊语、希伯来语、印地语等） ** Chatterbox Turbo ** 英语 快速 350M 模型，支持副语言情感/声音标签 ** TADA **  (1B / 3B) 10 HumeAI 语音-语言模型，700+ 秒连贯音频 ** Kokoro ** 8 50 个精选预设声音，82M 极小模型，CPU 快速推理
（后续特性如 ** 情绪标签 ** 、 ** 后期处理效果 ** 、 ** 无限长度生成 ** 、 ** 故事编辑器 ** 、 ** 全局听写 ** 、 ** Agent 语音输出 ** 、 ** 语音人格 ** 、 ** 模型管理 ** 、 ** GPU 支持 ** 等详见原文）

关键技术

Voicebox 是一个 ** 本地优先（local-first） ** 的 AI 语音工作室，采用 ** 客户端-服务器架构 ** ，核心目标是实现完整的语音 I/O 循环（TTS + STT + Agent 集成），全部在本地运行，强调隐私、性能和跨平台支持。

1. 整体架构（Client-Server + Tauri Sidecar）

** 桌面应用 ** ：使用  ** Tauri ** （Rust）构建，原生性能（非 Electron），体积小、内存占用低。 Rust 侧负责：启动 Python Backend 作为  ** sidecar **  进程、原生文件对话框、系统托盘、自动更新、父进程 watchdog（防止崩溃后孤儿进程）。 ** Frontend ** （React 应用）：通过 HTTP 调用 Backend API（localhost:17493）。 ** Backend ** ：Python  ** FastAPI **  服务器，提供 REST API + MCP 服务器。 开发时独立运行  uvicorn ，生产时打包为 PyInstaller 可执行文件作为 Tauri sidecar。 ** 通信 ** ：Frontend ↔ Backend 通过 HTTP + SSE（Server-Sent Events 用于生成进度）。

2. 前端技术栈

** 框架 ** ：React 18 + TypeScript ** 状态管理 ** ：Zustand ** 数据获取 ** ：React Query（TanStack Query） ** 样式 ** ：Tailwind CSS ** 音频处理/波形 ** ：WaveSurfer.js ** 构建 ** ：Vite（tauri 子目录下）

3. 后端技术栈（核心）

** Web 框架 ** ： ** FastAPI ** （Python 3.11+），自动生成 OpenAPI 文档。 ** 数据库 ** ：SQLite + SQLAlchemy（ORM），支持 Profiles、Generations、Versions 等模型。 ** 音频处理 ** ： ** Pedalboard ** （Spotify）—— 后期效果（Pitch Shift、Reverb、Delay、Chorus、Compressor 等）。 librosa、soundfile —— 音频 I/O、trim、resample、crossfade。 ** 模型管理 ** ：Hugging Face 下载、缓存、本地路径自定义（ VOICEBOX_MODELS_DIR ）。

4. AI 推理核心（多引擎 + 多后端）

** TTS 引擎 ** （7 个，可插拔注册表设计）： Qwen3-TTS / Qwen CustomVoice（Alibaba） LuxTTS、Chatterbox（Multilingual + Turbo）、HumeAI TADA、Kokoro
** STT ** ：OpenAI Whisper（Base/Small/Medium/Large/Turbo）。
** 本地 LLM ** （用于 Personality、文本精炼）：Qwen3（0.6B/1.7B/4B），与 TTS 共享运行时。
** 推理后端 ** （平台自适应）： ** Apple Silicon ** ： ** MLX ** （Metal 加速，极高性能） ** NVIDIA ** ：PyTorch + CUDA ** AMD ** ：PyTorch + ROCm ** Intel Arc ** ：PyTorch + XPU/IPEX ** 其他 ** ：DirectML / CPU fallback
** 关键设计 ** ： ** TTSBackend Protocol ** ：所有引擎实现统一接口（load_model、generate、unload_model 等），通过注册表自动分发。 ** Serial Task Queue ** ：避免 GPU 争用，串行执行推理。 ** Voice Prompt 缓存 ** ：基于音频哈希，加速重复克隆。

API

Voicebox 提供 REST API，方便集成到你的应用和 Agent 中。
示例：
# 生成语音
curl -X POST http://127.0.0.1:17493/generate \
  -H  "Content-Type: application/json"  \
  -d  '{"text": "你好世界", "profile_id": "abc123", "language": "zh"}'

# Agent 语音输出
curl -X POST http://127.0.0.1:17493/speak \
  -d  '{"text": "部署完成。", "profile": "Morgan"}'

还内置  ** MCP 服务器 ** ，支持 Claude Code、Cursor 等 MCP 兼容 Agent 直接调用语音功能。

项目地址

https://github.com/jamiepine/voicebox
**
**

如果你觉得这篇文章不错，别忘了 ** 点赞、在 ** ** 看、转发 ** 给更多需要的小伙伴哦！

** 需要购买云服务器或其他云产品？ **
欢迎联系获取 ** 专属折扣 ** 与优惠方案！
** 技术 / 产品交流 ** 扫码加入交流群，备注格式： ** 「开发语言-城市-昵称」 **
其他合作 请注明来意